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1.0. Погонець 

Карпатський державний центр інформаційних засобів 1 технологій НАН України, 
м. Івано-Франківськ, Україна 

роєопеї5(Фгатрбіег ги 


Теорія ентропії джерел інформації 
та її застосування в задачах штучного інтелекту 


У статті подано теоретичні основи цифрової обробки даних на базі інформаційних мір ентропії для 
розв'язання задач штучного інтелекту. Проаналізовано існуючі міри ентропії та проведено аналіз 
статистичних, кореляційних і спектральних характеристик джерел інформації. 


Вступ 


Розвиток глобальних інформаційних систем в сучасному суспільстві обумовле- 
ний швидкими темпами зростання потужних комп'ютерних засобів та телекому- 
нікаційних систем, обумовлює відповідний розвиток засобів та задач штучного інтелекту, 
які охоплюють проблеми розпізнавання образів, удосконалення систем прийняття рішень, 
розробку теорії та технології побудови бази знань та ін. 

В даній концепції розвитку теорії та методології штучного інтелекту важливу роль 
відіграє теорія інформації, а особливо її новітня галузь - теорія джерел інформації (ДІ). 
При цьому фундаментальними основами теорії джерел інформації є теорія ймовірностей, 
теорія випадкових процесів, теорія кореляційного та спектрального аналізу і особливо 
теоретичні основи оцінки ентропії. 

Важливою характеристикою ентропійного підходу до дослідження джерел інформа- 
ції, як показано в (1), є найбільш інтегрована оцінка характеристик джерел інформації. 
Така властивість найбільш інтегрального представлення джерел інформації потребує 
глибокого дослідження та порівняльного аналізу існуючих мір ентропії, а також дифе- 
ренціації можливостей їхнього застосування при розв'язанні різних задач штучного 
інтелекту. 


1. Аналіз статистичних, кореляційних та спектральних 
характеристик джерел інформації 


Джерело інформації адекватно може бути описано кореляційними, статистич- 
ними та спектральними характеристиками (21. 


Таблиця 1 
Кореляційні моделі 
ла Іча 09, 9 
вС0г - У віп Хі 518П Хі, 
Піші 
1 знакова 2 
г. В 9 
зієтх, з Ю ; 
-Іжекб 
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Продовж. табл. 1 


- 1 по о 
2 реясина НАС) з -Узху зів Хі 
ізі 
. й 5. І - 
3 коваріаційна Ко()2- уз Хі Ху 
По 
М у 1 по о 
4 кореляційна ра 3 До р Ж 
Па і 
ко 
5 нормована кореляційна РО) з р 
РО пе 2 
6 структурна РО и ЛО 
1 модульна с. Ла У. Їх, "Ха 
з пос і 
8 нормована модульна оз Ра Ко с а 
1 п М 
вкрали З Ду 
9 еквівалентна б 
700 Рі» Хі Я Ху 
УЖ ху 2 Хі; 


Статистичні моделі 


. й іх 
1 вибіркове математичне сподівання Мат У 
п ізі 
1 тя 
| Мат 3 Ху, / 27 04,2... 
2 ковзне математичне сподівання т ті 


де / ш 0,1,2,...- дискретний зсув; 


тя) 
муз УКХ: 
3 вагове математичне сподівання чн 


де 2 - вагова функція; 


1 п 
4 дисперсія р,з -УСХ, -М,) 
Пі 


5 середньоквадратичне відхилення соч / р, 
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2. Теоретичні основи оцінки ентропії 


Залежно від динаміки зміни інформаційних станів ДІ класифікують на три типи: 
1 - стаціонарні; 2 - квазістаціонарні; 3 - нестаціонарні. 

Реальні ДІ найчастіше належать до класу квазістаціонарних джерел, ентропійні 
моделі яких досліджувалися при вирішенні завдань адаптації за станами, прогнозу 
випадкових процесів і ефективного кодування. Стаціонарність динамічних і кореляційних 
показників, стабільність швидкості створення повідомлень при виконанні об'єктами 
різних технологічних і функціональних операцій визначає тимчасові параметри квазіста- 
ціонарних ДІ. Для таких джерел характерним є стрибкоподібний перехід з одного 
інформаційного стану в інший. 

В якості практичної міри ентропії дискретного джерела інформації Р. Хартлі 
запропонував функцію логарифма числа можливих станів ДІ |3| 


Н1Іов:8" «епіоє8, 
де Н - кількість інформації; 5 - число незалежних рівноймовірних станів ДІ; п - число 
вибірок. 

Інформаційна міра Хартлі не враховує нерівноймовірності розподілу різних 
5 "станів. Тому міра Хартлі є верхньою оцінкою ентропії джерела. 

При кодуванні безперервних ДІ із заданою точністю квантування за рівнем Ні 
кроком дискретизації за часом А.Н. Колмогоровим запропонована міра інформації - 
епсилон - ентропія, яка визначається числом елементів Е-мережі під час переходу ДІ 
в різні стани |4Ї 


т С 
Не (РЕ) 2--чіоє--, 
Б 


Е и . 
де Діз 1 С - діапазон квантування; Т - інтервал часу спостереження ДІ. 


Визначивши число функцій, яке може бути отримане у Е-просторі за час Т у 
т 


вигляді Ф(І) - 2Аі, отримаємо 


ба 
Не Зюво(5 27); 


У окремому випадку, коли - де од 


Не 21052(2"-2")стяп, 


тобто отримуємо ентропію двійково-кодованого ДІ. 

Оцінки ентропії ДІ у вигляді міри Хартлі 1 ентропії Колмогорова вирішувані в 
цілих числах в тому випадку, якщо діапазон квантування станів ДІ вибирається кратним 
цілому степеню числа два. У інших випадках, коли 5-2 (К-І2..), необхідно користува- 
тися оцінкою 


й; -п-ЕЦов, 5)- ія, 
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де Е - символ цілочисельної функції з округленням до більшого; | - ознака операції 
округлення до більшого цілого. 

Наведені оцінки ентропії ДІ засновані на умові, що кожний 5 з стан джерела коду- 
ється розрядним двійковим кодом однакової довжини. Розглянуті оцінки ентропії відпо- 
відають ДІ з рівноймовірними станами 1, як правило, є максимальними. 

Для ДІ з нерівноїмовірними станами К. Шенноном введена міра ентропії |5| 


п 
на-КУР, ер), 
їз1 
де К - позитивна постійна, яка враховує основу логарифма; Р. - вірогідність 5; -го 
стану дискретного ДІ. 

Б. Олівер відзначає, що чим більше кореляція між наступними один за одним 
символами або відліками повідомлень, що генеруються ДІ, тим більше нерівномірні 
розподіли і це веде до зменшення ентропії (61. 

Д. Міддлтон також досліджував дискретні ДІ, що формують послідовності 
символів довільної тривалості, розподілених в певному порядку в часі. Для реалізації 
дискретної випадкової послідовності Х - Їх, | кожен з символів Х; може приймати 
одне із І; різних значень (І «1051 ої .л), отриманий вираз для апріорної неви- 
значеності щодо послідовності (хі ла не М 

ніх) «У «У РІХ Лов РИХ) 
пе!1 бе 
де підсумовування проводиться за всіма можливими значеннями кожного з символів Х.;. 


Для даного джерела визначено вираз середньої умовної ентропії 
М 


Х і 1 М 
5 з-д Рано) 
ти! 


це! це! таі , 


Чон зе) 
де х., у, - статистично залежні стани ДІ. З останнього виразу виходить, що для розрахунку 


ентропії таких ДІ потрібне знання сумісної щільності імовірності різного порядку. 

На практиці ДІ не є так статистично складними, щоб їх описувати багатови- 
мірними розподілами. Зокрема для повного опису стаціонарних ДІ достатньо знання 
двовимірних розподілів і відповідних статистичних середніх. Природно, що ентропія 
і швидкість створення повідомлень такими джерелами, за рахунок кореляційних зв'язків 
між різними послідовностями символів, виявляються меншими в порівнянні з оцінками 
інформаційної міри Хартлі та Шеннона. 

У роботі В. Таллера підкреслюються переваги, які можна отримати шляхом 
кореляційного аналізу і усунення внутрішньої кореляції повідомлень, що форму- 
ються джерелом. Показано, що якщо в деякий момент часу ДІ, що має 5 станів, 
переходить лише в 5 і МОЖЛИВИХ станів, то аналіз істинності інформаційного змісту його 


повідомлень приводить до меншого об'єму інформації в порівнянні з функцією най- 
більшої інформації 
На кові з х) й 
М 
де Н-Кп-Їоє З5аме, Зауе - середнє значення станів ДІ; ВТ - інформаційна база формо- 


ваних повідомлень; М - значення шуму. 
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При цьому встановлення вимоги найбільшої інформації засноване на твердженні, 
що неможливе аналітичне продовження функції інформації з точністю більшою чим 


1 ос 19 
б впродовж інтервалу між відліками. 

Таким чином, в даній роботі В. Таллера практично було поставлено завдання 
аналізу квазістаціонарних ДІ, а величина з отримує смисл інтервалу кореляції між 


відліками, відповідними станам ДІ. 

Численними дослідженнями реальних об'єктів управління і ДІ показано, що 
параметри технологічних об'єктів на локальних відрізках часу досить точно описую- 
ться моделлю двовимірного гауссівського розподілу ймовірностей. 

Тому для оцінки сумісної диференціальної ентропії таких джерел скористаємося 


виразом |3| 
МО ХО т) Лов (2леб 1 - рі), 


який для дискретних ДІ має вигляд 


Но х,) Лов, 2ле -- 108, 6.41-р), 


де перший елемент представляє константу інформаційної міри, пов'язану з основою 
логарифма, яка може не враховуватися в обчисленнях, а другий елемент представляє 
дисперсію процесу і взаємну ентропію нерівноїмовірних корельованих станів ДІ. 


На інтервалі кореляції )- Т, який визначається з умови рух ( 3) «0,1, оцінку 
ентропії таких ДІ можна визначити за формулою 


Іа Но нови ре У. 
79 


Розрахунок ентропії ДІ на основі нормованої автокореляційної функції Рух ( 5) Є 


незручним в обчислювальному плані у зв'язку з необхідністю центрування по- 
слідовності відліків хі. 


Простіше обчислюється модульна функція автокореляції Сх (5), яка має аналі- 


тичний зв'язок з функцією Рух ( 5) у вигляді 


де 
в.) - 67 Р.О); 
ЗВІДКИ 
р.пу Та О-ь 
причому 


4 ж 3 Се 


Х 
нормована модульна функція автокореляції. 
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Після нескладних перетворень оцінку ентропії отримаємо у вигляді 


1 т 
їх одн 0). 
/-0 


яка аналогічним чином приводиться до трьох елементів 


1 їж 
Їш - 108, ко21ов; бно 2 Лов, 8 ли (7), 
| 0 


1П 


де другий елемент представляє число - випадкову складову еквівалентну епсилон 


ентропії, а третій - взаємну ентропію корельованих відліків. 


Серед розглянутих інформаційних мір ентропії найбільш повно опирається на 


статистичні характеристики міра ентропії на базі кореляції. 
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В статье даньт теоретическиє основь цифровой обработки данньх на базе информационньтх мер знтропий 
для решения задач искусственного интеллекта. Проанализированьт существующие мерьт знтропиий и 
проведен анализ статистических, корреляционньх и спектральньх характеристик йсточников информации. 
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